Beyond a Single Judge: Simulating Social Persona Panels for Generative UI Evaluation
超越单一法官：模拟社交角色面板评估生成式UI
🧭 生成式UI评估 · 多角色社交加权
Shanghai Jiao Tong University · ByteDance Inc
用多角色证据锚定与社交加权面板评价生成式UI，与人类评分的相关性从0.716升至0.922
📌 工作参考价值（4 点）
- 多角色模拟用户多样性：在电商推荐或广告落地页评估中，可借鉴 ESPP 方法，构建反映不同用户画像（价格敏感、品牌偏好、视觉导向等）的角色面板，更全面地捕捉界面或推荐列表的感知差异。
- 证据锚定提升评判可靠性：要求评估者（LLM）基于界面上具体元素给出评分理由，这种“证据落地”机制可迁移到任何 LLM-as-a-judge 场景，减少幻觉和主观臆断，适用于搜索广告文案或推荐理由的质量审核。
- 社交加权与分歧分析：在多角色评分聚合时，采用有界置信模型进行观点交换与德尔菲式加权，产出更稳定的整体评分，同时保留各子群体评分用于分歧诊断，帮助识别推荐系统对不同人群的公平性问题。
- 离线评估成本优化：用一组自动化的角色面板替代部分人工用户测试，快速筛选出有潜力的UI方案或推荐策略，在进入 A/B 测试前过滤掉明显低质变体，降低实验成本。